Техническое задание.

Вы работаете в стартапе, который продаёт продукты питания. Нужно разобраться, как ведут себя пользователи вашего мобильного приложения.

Изучите воронку продаж. Узнайте, как пользователи доходят до покупки. Сколько пользователей доходит до покупки, а сколько — «застревает» на предыдущих шагах? На каких именно?

После этого исследуйте результаты A/A/B-эксперимента. Дизайнеры захотели поменять шрифты во всём приложении, а менеджеры испугались, что пользователям будет непривычно. Договорились принять решение по результатам A/A/B-теста. Пользователей разбили на 3 группы: 2 контрольные со старыми шрифтами и одну экспериментальную — с новыми. Выясните, какой шрифт лучше.

Создание двух групп A вместо одной имеет определённые преимущества. Если две контрольные группы окажутся равны, вы можете быть уверены в точности проведенного тестирования. Если же между значениями A и A будут существенные различия, это поможет обнаружить факторы, которые привели к искажению результатов. Сравнение контрольных групп также помогает понять, сколько времени и данных потребуется для дальнейших тестов.

В случае общей аналитики и A/A/B-эксперимента работайте с одними и теми же данными. В реальных проектах всегда идут эксперименты. Аналитики исследуют качество работы приложения по общим данным, не учитывая принадлежность пользователей к экспериментам.

Анализ эффективности воронки продаж интернет магазина продуктов питания. Сборный проект.

Вводная часть.

Краткое описание проекта.

В стартапе, который продаёт продукты питания нужно разобраться, как ведут себя пользователи мобильного приложения. Также необходимо помочь дизайнерам проверитьвлияние изменённых шрифтов на поведение пользователей.

Цель проекта.

Необходимо произвести анализ воронки продаж с целью проверки её эффективности в "доведении" пользователя до покупкм.

После необходимо проанализировать А/А/В тест для выяснения влияния изменения шрифта сайта на поведение пользователей.

Результаты изложить в общих выводах и рекомендациях для отдела маркетинга.

Описание данных.

В исходных предоставленных данных каждая запись в логе — это действие пользователя, или событие.

План работы.

Часть 1. Изучение общей информации о предоставленных данных. Подготовка данных для последующей обработки.

Часть 2. Анализ воронки продаж интернет магазина.

Анализ А/А/В теста.

Изучите результаты эксперимента Статистический анализ А/А теста. Статистический анализ А/В теста. Сравнение всех данных по группам и событиям. Проверка гипотез.

Общие выводы по проекту.

Часть 1. Изучение общей информации о предоставленных данных. Подготовка данных для последующей обработки.

Подготовим данные для обработки.

Данные подготовлены к последующей обработке:мы заменили названия столбцов на более удобные, проверили пропуски и типы данных, поменяли тип данных в столбце даты и времени, добавили отдельный столбец дат, удалили дубликаты, проверили корректность данных на предмет наличия пользователей, попавших в две группы сразу.

Изучим и проверим данные.

Проанализируем взаимодействие пользователей с приложением.

Вывод по разделу.

  1. Решение отбросить данные за последнюю неделю июля 2019 года было верным. Потери в данных для анализа не более 1,2%.

  2. При анализе взаимодействия пользователей с приложением было выяснено следующее:

Часть 2. Анализ воронки продаж интернет магазина.

Посмотрим, какие события есть в логах, как часто они встречаются. Отсортируем события по частоте. Посчитаем, сколько пользователей совершали каждое из этих событий. Отсортируем события по числу пользователей. Посчитаем долю пользователей, которые хоть раз совершали событие.

Вывод.

Мы определили, что всего в воронке уникальных событий пять:

Просмотр главной страницы является самым популярным событием. Пользователи, зашедшие на главную страницу, совершили хотя бы одно событие. Таких пользователей 7419 (98,47%).

Будем считать, что при движении по воронке пользователи проходят 4 события. Обучающую страницу (пятое событие) пользователи посещают редко, её посещение или игнорирование никак не сказывается на переходе на следующий шаг. Видимо, нет условия посетить её обязательно. Это разумно, ведь новым пользователь может считаться только в первое посещение ресурса. Даже учитывая это обстоятельство, количество посетителей этой страницы почти в 10 раз меньше количества уникальных посетителей сайта. Поэтому в визуализацию воронки продаж эту страницу включать не будем.

Выводы.

Последовательной цепочкой событий для пользователей можно считать 4 шага: просмотр главной страницы, просмотр страницы предложений, просмотр корзины и переход к успешной оплате. Функции страницы просмотр обучающей информации для новых пользователей не понятны,процент заходящих туда пользователей очень мал. Эта страница не встраивается в последовательную цепочку маршрута пользователя.

Анализ воронки продаж.

Мы построили 3 воронки продаж: общую по всем пользователям эксперимента, по группам А/А теста и по экспериментальной группе. Расхождения по всем этапам воронки по каждой визуализации - не более 2%.

Рекомендации для маркетологов и технической поддержки

Анализ А/А теста.

Разработчики решили поменять шрифты во всём приложении. Но перед тем нужно обязательно изучить возможную реакцию пользователей на такие изменения. Поэтому необходимо провести А/А/В тест. Группы 246 и 247 будут являться тестовыми, а группа 248 - экспериментальной. В данном разделе мы будем использовать данные за первую неделю августа 2019 года. Выведем на экран количество пользователей в каждой из экспирементальных групп.

Критерии успешного A/A-теста:

Проверим наши группы по этим критериям.

Итак, разница в численности групп 0,95%,1,15% и 2,13%. Группы довольно многочисленные. При отсутствии статистической значимости ключевых метрик по группам результаты эксперимента будут корректны.

Пункт 2 мы проверить не можем - примем его на веру.

Пользователи, попавших в обе группы отсутствуют.

Осталось проверить критерий наличие или отсутствие статистической значимости ключевых метрик по группам.

Проанализируем А/А тест и А/В тесты последовательно.

Статистический анализ А/А теста

Сформулируем гипотезы:

Но: между долями пользователей, совершивших определённое событие, нет статистически значимой разницы между группами A/A теста;

Н1: между долями пользователей, совершивших определённое событие, есть статистически значимая разница между группами A/A теста.

Проверим гипотезы на первом событии.

Вывод: Между долями пользователей, дошедших до "посадочной"страницы сайта, нет статистической разницы между группами А/А теста. Создадим функцию для проверки различий между группами по всем событиям

Анализ А/А и А/В теста.

Посчитаем статистическую разницу по всем событиям между группами 246-247.

Для этого напишем функцию.

Посчитаем статистическую разницу по всем событиям между группами 247-248 и 246-248.

Сформулируем гипотезы:

Но: между долями пользователей, совершивших определённое событие, нет статистически значимой разницы между всеми группами теста;

Н1: между долями пользователей, совершивших определённое событие, есть статистически значимая разница между всеми группами теста.

Проверим гипотезы с помощью функции.

Выводы.

Таким образом, ни в одном из тестов не удалось отвергнуть нулевую гипотезу.

Шрифт не влияет на взаимодействие пользователя с приложением.

Учтём также,что в нашем эксперименте 4 пары групп и 4 этапа в воронке. Значит, число гипотез равно 16. Проверим корректность выводов методом Бонферрони.

Вывод.

Все выведенные значения значительно больше уровня статистической значимости 0,05, принятого в эксперименте.

Данные расчёты подтверждают, что мы не можем отвергнуть нулевую гипотезу даже учитывая групповую возможность ошибки первого рода.

Шрифт не влияет на взаимодействие пользователя с приложением.

Общие выводы по проекту.

  1. В ходе исследования мы изучили предоставленные для анализа данные и подготовили их к обработке: очистили от дубликатов и устаревших данных. В результате мы работали с данными за первую неделю августа 2019 года.
  2. Мы изучили данные о работе мобильного приложения стартапа, продающего продукты питания. Выяснили, что в последовательный маршрут пользователя по приложению выстраиваются 4 события: от посещения главной страницы сайта до оплаты заказа. Обучающая работе с сайтом страница пользователями посещается редко. почти 40% пользователей с главной страницы не переходят на страницу предложений и последующие страницы.
  3. По просьбе дизайнеров было проверено влияние обновлённого шрифта приложения на всаимодействие пользователя с приложением. На всех этапах проверки подтвердился вывод, что статистической разницы между группами эксперимента нет ни по одному событию. Следовательно, шрифт не влияет на взаимодействие пользователя с приложением.

Рекомендации для маркетологов и технической поддержки.

  1. Проанализировать, почему 1,5% пользователей, не побывали на главной странице.
  2. Самые большие потери пользователей происходят при переходе с главной страницы к странице предложений.
  3. "Посадочная" страница магазина нуждается в анализе и "доработке".
  4. Также необходимо "доработать" обучающую страницу, определиться с её назначением и функциями.